Ngày 28 tháng 8 năm 1945, Chính phủ lâm thời của nước Việt Nam Dân chủ Cộng hòa do Chủ tịch Hồ Chí Minh đứng đầu tuyên cáo trước quốc dân đồng bào và toàn thế giới về việc thành lập Chính phủ nước Việt Nam mới. Cũng trong thời gian đó, một cơ quan đầu não giúp việc cho Chính phủ lâm thời và Chủ tịch Hồ Chí Minh đã được thành lập. Do lúc bấy giờ, chính quyền Việt Nam Dân chủ Cộng hòa chưa ổn định, áp lực nội hoạn ngoại xâm rất lớn, nên tổ chức cũng như nhân sự của cơ quan này được giữ bí mật. Việc thành lập cơ quan này cũng không có văn bản thành lập chính thức.

Đến tháng 9 năm 1955, Chính phủ của Thủ tướng Phạm Văn Đồng được thành lập, ông Phạm Hùng được cử làm Bộ trưởng Phủ Thủ tướng. Mặc dù vậy, mãi đến 26 tháng 7 năm 1960, Chủ tịch Hồ Chí Minh mới ra Lệnh số 18-LCT công bố Luật Tổ chức Hội đồng Chính phủ nước Việt Nam Dân chủ Cộng hòa, trong đó chính thức thành lập Văn phòng Phủ Thủ tướng và quy định chức năng như sau:

Năm 1971, bên cạnh Bộ trưởng Phủ Thủ tướng còn đặt thêm một Chủ nhiệm Văn phòng Phủ Thủ tướng tương đương Bộ trưởng. Năm 1981, chức vụ Bộ trưởng, Tổng Thư ký Hội đồng Bộ trưởng tương đương với Bộ trưởng Phủ Thủ tướng cũ và Văn phòng Phủ Thủ tướng cũng chuyển thành Văn phòng Hội đồng Bộ trưởng, đứng đầu bởi Chủ nhiệm, tương đương Bộ trưởng. Trong hầu hết thời gian, 2 chức vụ này do 1 người kiêm nhiệm; đến năm 1987 thì sáp nhập 2 chức vụ này làm một.

Đến năm 1992, Hội đồng Bộ trưởng chuyển lại thành Chính phủ, Chủ nhiệm Văn phòng Phủ Thủ tướng đổi sang tên gọi chức vụ mới là Bộ trưởng, Chủ nhiệm Văn phòng Chính phủ.

Ngày 19 tháng 4 năm 2001, Thủ tướng Phan Văn Khải đã ký Quyết định số 489/QĐ-TTg, chọn ngày 28 tháng 8 làm "Ngày truyền thống Văn phòng Chính phủ".